Nightshade altre les donnes d'entranement et permet aux artistes de lutter contre l'IA gnrative

Un nouvel outil permet aux artistes d'ajouter des modifications invisibles aux pixels de leurs uvres avant de les mettre en ligne, de sorte que si elles sont intgres dans un ensemble d'entranement l'IA, le modle qui en rsulte peut se briser de manire chaotique et imprvisible. L'outil, appel Nightshade, est conu comme un moyen de lutter contre les entreprises d'IA qui utilisent les uvres d'artistes pour entraner leurs modles sans l'autorisation du crateur.

L'utilisation de cet outil pour "empoisonner" ces donnes d'entranement pourrait endommager les futures itrations des modles d'IA gnrateurs d'images, tels que DALL-E, Midjourney et Stable Diffusion, en rendant certains de leurs rsultats inutiles : les chiens deviennent des chats, les voitures des vaches, et ainsi de suite.

Les socits d'IA telles que OpenAI, Meta, Google et Stability AI sont confrontes une srie de poursuites de la part d'artistes qui affirment que leurs uvres protges par le droit d'auteur et leurs informations personnelles ont t rcupres sans consentement ni compensation. Ben Zhao, professeur l'universit de Chicago, qui a dirig l'quipe l'origine de la cration de Nightshade, espre que cette solution contribuera faire pencher la balance des entreprises d'IA vers les artistes, en crant un puissant moyen de dissuasion contre le non-respect des droits d'auteur et de la proprit intellectuelle des artistes.

L'quipe de Zhao a galement mis au point Glaze, un outil qui permet aux artistes de "masquer" leur style personnel pour viter qu'il ne soit rcupr par les entreprises d'IA. Cet outil fonctionne de la mme manire que Nightshade : il modifie les pixels des images de manire subtile, invisible l'il humain, mais manipule les modles d'apprentissage automatique pour qu'ils interprtent l'image comme quelque chose de diffrent de ce qu'elle montre en ralit. L'quipe a l'intention d'intgrer Nightshade dans Glaze, et les artistes peuvent choisir d'utiliser ou non l'outil d'empoisonnement des donnes. L'quipe envisage galement de rendre Nightshade open source, ce qui permettrait d'autres de le bricoler et de crer leurs propres versions. Plus les gens l'utiliseront et creront leurs propres versions, plus l'outil deviendra puissant, explique Zhao. Les ensembles de donnes pour les grands modles d'IA peuvent tre constitus de milliards d'images, donc plus il y a d'images empoisonnes qui peuvent tre introduites dans le modle, plus la technique causera de dgts.

Nightshade exploite une faille de scurit dans les modles gnratifs d'IA, qui dcoule du fait qu'ils sont entrans sur de grandes quantits de donnes : dans ce cas, des images qui ont t rcupres sur l'internet. Nightshade s'attaque ces images. Les artistes qui souhaitent mettre leurs uvres en ligne, mais ne veulent pas que leurs images soient rcupres par des socits d'intelligence artificielle peuvent les tlcharger sur Glaze et choisir de les masquer avec un style artistique diffrent du leur. Ils peuvent galement choisir d'utiliser Nightshade. Lorsque les dveloppeurs d'IA fouillent l'internet pour obtenir davantage de donnes afin d'amliorer un modle d'IA existant ou d'en crer un nouveau, ces chantillons empoisonns se frayent un chemin dans l'ensemble des donnes du modle et provoquent un dysfonctionnement de celui-ci. Les chantillons de donnes empoisonnes peuvent manipuler les modles pour qu'ils apprennent, par exemple, que les images de chapeaux sont des gteaux et que les images de sacs main sont des grille-pain. Les donnes empoisonnes sont trs difficiles supprimer, car il faut que les entreprises technologiques trouvent et suppriment minutieusement chaque chantillon corrompu.

Nightshade va faire rflchir les entreprises d'IA deux fois, "parce qu'elles ont la possibilit de dtruire tout leur modle en prenant notre travail sans notre consentement", dclare Eva Toorenent, une illustratrice et artiste qui a utilis Glaze. "Je suis vraiment reconnaissante que nous disposions d'un outil qui peut aider rendre le pouvoir aux artistes pour leur propre travail", ajoute Autumn Beverly, une autre artiste.

Les attaques par empoisonnement des donnes manipulent les donnes d'apprentissage pour introduire des comportements inattendus dans les modles d'apprentissage automatique au moment de l'apprentissage. Pour les modles gnratifs texte-image avec des ensembles de donnes d'apprentissage massifs, la comprhension actuelle des attaques par empoisonnement suggre qu'une attaque russie ncessiterait l'injection de millions d'chantillons empoisonns dans leur pipeline d'apprentissage. Dans cet article, nous montrons que les attaques par empoisonnement peuvent russir sur les modles gnratifs. Nous observons que les donnes d'entranement par concept peuvent tre assez limites dans ces modles, ce qui les rend vulnrables aux attaques d'empoisonnement spcifiques aux invites, qui ciblent la capacit d'un modle rpondre des invites individuelles.

Nous prsentons Nightshade, une attaque d'empoisonnement optimise et spcifique l'invite, dans laquelle les chantillons d'empoisonnement sont visuellement identiques des images bnignes avec des invites textuelles correspondantes. Les chantillons de poison Nightshade sont galement optimiss pour leur puissance et peuvent corrompre une invite Stable Diffusion SDXL en <100 chantillons de poison. Les effets du poison Nightshade s'tendent aux concepts connexes, et plusieurs attaques peuvent tre composes ensemble dans un seul message-guide. De manire surprenante, nous montrons qu'un nombre modr d'attaques Nightshade peut dstabiliser les caractristiques gnrales d'un modle gnratif texte-image, rendant ainsi inoprante sa capacit gnrer des images significatives. Enfin, nous proposons l'utilisation de Nightshade` et d'outils similaires comme dernire dfense pour les crateurs de contenu contre les racleurs de sites web qui ignorent les directives d'exclusion/de non-crawl, et nous discutons des implications possibles pour les formateurs de modles et les crateurs de contenu.

Source : Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

Et vous ?

Quel est votre avis sur ce nouvel outil Nightshade ?
Pensez-vous que cet outil est une solution durable les auteurs contre l'IA ?